#Inference-time Intervention

LocUS: Head Selection and Subspace Projection for Targeted Activation Steering

LocUS：面向目标激活转向的头部选择与子空间投影

🧭 LLM 推理时激活转向 · 低秩子空间

Area Science Park, Trieste, Italy · Institute of Science and Technology Austria · Université Côte d'Azur, Inria, LJAD, Maasai Project Team, Nice, France

LocUS 将激活转向约束到输出词汇子空间并稀疏选择注意力头，以干预<6%参数匹配或超越 SOTA 并更好保持通用能力

📌 工作参考价值（3 点）

在电商客服/导购 Agent 中，可用 LocUS 做实时安全/合规控制：基于对比数据估计转向方向，但通过 unembedding 子空间投影和稀疏头部选择，仅干预 <6% 参数，避免大幅损害商品推荐能力。
利用模型原始 unembedding 矩阵作为属性子空间来源，无需额外训练即可定位特定属性（如“负评倾向”）对应的输出方向，并在局部修正，此法可复用于生成式推荐中的风格/属性控制。
对 LLM 生成推荐理由或商品描述的场景，可对生成的语义属性（如情绪、说服力）做 targeted steering，同时不改变物品 ID 或事实准确性，保持通用能力不下降。

LLM | 2026-09-25 | cs.CL | score 6/10

Look Before You Leap: Factual Decoding with Internal Attribution Signals

三思而后行：利用内部归因信号的事实性解码

🧭 LLM 事实性解码 · 内部归因信号

Chung-Ang University, Department of Artificial Intelligence · Chung-Ang University, Graduate School of Advanced Imaging Sciences, Multimedia and Film

提出 DescaPE，在推理时用内部归因信号对候选续写打分，抑制幻觉易发路径，提升事实性

📌 工作参考价值（3 点）

推理时轻量探针监控内部归因信号，可集成到电商商品文案、搜索回答或推荐理由生成中，在 beam search / top-p 解码时对候选打分，实时过滤容易出错的属性、价格、活动规则等事实错误，无需重训大模型。
滑动窗口 MLP 消融定位事实显著层的方法可复用：业务中可对自有 LLM 做类似层重要性扫描，找出监控事实性的关键层作为线上干预点，降低全量 probing 成本。
探针只需单次前向传播近似信号，延迟仅 1.10×，适合在线生成场景；可结合业务知识库构建正负样本训练领域定制探针，与 RAG 互补，防止检索到错误信息后继续编造。

LLM | 2026-09-14 | cs.CL | score 7/10

Hallucination Factual Decoding Internal Attribution Inference-time Intervention Probe LLM